Hoewel de eerste vermelding dateert van 1366, is het vrij waarschijnlijk dat er al halfweg de 13de eeuw een versterkt woonhuis stond op deze plek aan de rand van het riviertje la Sennette.
Destijds was la Follie een versterkt kasteel, in de traditie van die tijd, geflankeerd door 4 ronde hoektorens, verbonden met muren van 3 meter dik. Dit gaf een vierkant grondplan, wat eigenlijk nog steeds het geval is. Rond het kasteel was een slotgracht met een ophaalbrug en een poort kasteeltje. Isabeau de Witthem de Beersel liet in de 16de eeuw de oude burcht in een aangename woning veranderen zonder ze echter volledig af te breken. De bouw van de galerijen die tot stallen omgevormd werden, wordt ook aan haar toegeschreven.
De huidige aanblik van het kasteel heeft men te danken aan Sébastian-Charles de la Barre de Flandre, en lijkt niet meer op het kasteel uit het begin van de 16de eeuw. Na hem werd het kasteel door erfenis bezit van de familie de Spangen en door huwelijk van de familie de Lichtervelde waarvan afstammelingen het nog steeds bewonen.